分类： 天文学 >> 天文学 提交时间： 2019-12-26 合作期刊: 《天文研究与技术》
摘要： SKA 科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力，如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark 是非常成熟的一个商业框架，在互联网应用中被广泛应用，本文根据SKA项目进展要求，重点研究了如何将算法参考库(ARL)中的部分管线移植到Spark上执行。本文对部分实现过程进行了分析讨论，给出了相应的任务流程实现。最终结果表明，移植后代码生成结果符合预期，Spark能够满足部分数据分布式数据的要求，但迫切需要解决自身存在的一系列问题。
分类： 天文学 >> 天文学 提交时间： 2019-09-18 合作期刊: 《天文研究与技术》
摘要： 测量集（MeasurementSet，MS）文件是成为射电天文领域的重要存储文件格式，并逐渐成为射电天文数据存储、分析与共享的标准格式，得到越来越多的天文数据处理软件如CASA、WSCLEAN等的支持，在ALMA、LOFAR等诸多射电望远镜系统中应用。但长期以来，MS格式在国内应用较少，技术规范文档非常缺乏。本文结合SKA工程桥接阶段相关工作需要，对MS格式的基本概念、目录结构和字段设计进行了介绍，在此基础上讨论了利用python-casacore调用底层casacore生成MS文件的方法,并将此功能封装到当前SKA的算法参考库（Algorithm Reference Library, ARL）。文中给出了利用ARL仿真观测生成MS文件的实例，并通过CASA软件对生成的MS文件成像，经过结果比对，验证了MS文件的正确性。本文的工作为SKA后续的成像实验、观测模拟和文件存储都提供了关键的保障，在满足SKA工程桥接阶段工作需要的同时，也为国内外射电天文数据处理工作提供了参考。
点击量
点击量
下载量
评论
